25 марта в Красноярске прошла фокус-группа с посетителями мобильной оперы-прогулки «Дмитрий Хворостовский. Начало». В ней приняли участие 12 сотрудников красноярского представительства Фонда культурных инициатив. Провела фокус-группу Надежда Максименко, консультант по вопросам развития НКО, фасилитатор.
Проект «Мобильная опера-прогулка «Дмитрий Хворостовский. Начало» был выбран для методического сопровождения в рамках проекта «Форум «Яркие краски креативных индустрий«.
Целью фокус-группы было оценить потенциал оперы-прогулки для сохранения культурно-исторической памяти (актуальность, значимость, возможности влиять на изменения в знаниях и ценностях).
Основные задачи фокус-группы
Выявить, какими концептами пользуются участники обсуждения для описания содержания оперы
Раскрыть, как особенности формата влияют на восприятие содержания
Сопоставить потенциальное воздействие оперы с уровнями воздействия
Поиск эффективных каналов коммуникации об опере
Основные выводы будут представлены в финальном отчете о проекте.
26 марта эксперты АНО «Эволюция и Филантропия» выступили на экспертной сессии «Оценка результатов социокультурных проектов» в Красноярске. Сессия прошла на базе Государственной универсальной научной библиотеки. В мероприятии приняли участие 40 специалистов: эксперты в области оценки и культуры, представители министерства культуры, региональных учреждений культуры, региональные грантополучатели ПФКИ, которые закончили реализацию проектов. Мероприятие проводилось Президентским фондом культурных инициатив (ПФКИ) совместно с АНО «Центр поддержки творческих и социально-культурных инициатив «АРТ-ГЕЛИОС» и АНО «Эволюция и Филантропия».
На сессии выступили Первый заместитель генерального директора фонда Игорь Соболев и министр культуры Красноярского края Аркадий Зинов. По итогам 11 грантовых конкурсов ПФКИ в Красноярском крае получили поддержку 102 проекта на сумму свыше 177 млн рублей. «Регион проведения сессии был выбран неслучайно – красноярские проекты активно включились во взаимодействие с разработчиками оценочной системы», – отметил Первый заместитель генерального директора ПФКИ Игорь Соболев.
Эксперты разобрали существующие практики и подходы для реализации социокультурных проектов, получивших поддержку ПФКИ, поговорили о результатах исследований международного и российского опыта оценки и ответили на вопросы участников. В качестве примера участники рассмотрели ход реализации форума «Яркие краски креативных индустрий».
Проект «Форум «Яркие краски креативных индустрий» представили Ольга Евдокимова и эксперты проекта Наталья Сергиевская и Ольга Заводилкина. Наталья Сергиевская выступила с темой «Результаты исследований передового международного и российского опыта оценки креативных (творческих) проектов». Ольга Заводилкина представила кейс оценки проекта «Мобильная опера-прогулка «Дмитрий Хворостовский. Начало», она рассказала об оценочном дизайне, логической модели и методологии оценки проекта.
Во второй части сессии, участники определяли области социокультурного воздействия, формулировали социокультурные результаты и показатели ним.
«Сейчас перед фондом стоит большая задача выработки механики и методик оценки проектов, определения их значимости и влияния на вклад в развитие культурной среды в различных сферах», – подчеркнул Первый заместитель генерального директора ПФКИ Игорь Соболев.
В начале встречи Ольга Евдокимова рассказала о методической поддержке, которую участники творческих проектов получат в рамках ЯККИ, а также рассказала о ключевых принципах и подходах к оценке программ и проектов. Она напомнила, что оценка может быть использована для улучшения результатов работы, мотивации сотрудников и прозрачности для доноров. (презентация).
Далее на встрече были представлены разработанные оценочные дизайны творческих проектов.
Ольга Заводилкина, кураторпроекта «Мобильная опера-прогулка «Дмитрий Хворостовский. Начало», отметила, что были выделены ключевые критерии, в частности, востребованность продукта, его устойчивость и факторы, влияющие на эти критерии; а также сформулировано социокультурное воздействие на пользователей, которое будет оцениваться — влияние на знания, чувства и ценности посетителей.
Надежда Рождественская представила проект «Онлайн-платформа проекта «Всероссийская актёрская биржа»«, описала его цели, изменения и результаты, рассказала о результатах оценки потребностей пользователей и плане сбора данных, включая интервью с представителями работодателей и вузов, а также использование метрик для оценки эффективности платформы. Цель оценки — выявить необходимость и конкретные направления доработки онлайн-платформы проекта «Всероссийская актёрская биржа» для достижения запланированных социальных результатов.
На встрече также был представлен проект молодежного фестиваля «Стихия металла«. Дизайн оценки проекта представила его куратор Татьяна Арчакова. Это проект для молодых металлургов города Первоуральска и окрестностей, он включал в себя фестиваль и тренинги по социальному проектированию. Оценочный дизайн проекта включал вопросы о достижении социальных результатов, устойчивости достигнутых результатов и возможности видоизменения проекта для расширения целевой аудитории. На встрече обсуждались планы проведения глубинных интервью с экспертами и активными участниками проекта из Первоуральска, а также подходы к сбору данных на предстоящем очном мероприятии.
Наталья Сергиевская представила планы работы и оценочный дизайн Уральского паблик-арт фестиваля ЧО, который ставит целью вовлечение жителей в творчество и современное искусство. Она подчеркнула важность оценки влияния фестиваля на формирование позитивного отношения жителей к районам и выявление перспектив развития продуктов фестиваля, а также влияние фестиваля на формирование культуры паблик-арта в регионе и в России. В планах команды проведение глубинных интервью с экспертами и активными участниками сообщества. Интерес представляет влияние фестиваля на вовлечение жителей города и бизнеса в обсуждение развития городской среды и бренда города.
Наталья также рассказала об оценке проекта Чеховский книжный фестиваль. Критериями для оценки проекта были выбраны вопросы: как фестиваль влияет на включение литературы/культуры в обыденную практику жителей город? Насколько фестиваль влияет на туристический бренд города?
Инга Пагава, куратор проекта «Молодежная программа оперных артистов» (программа реализуется АНО «Центр поддержки творческих и социально-культурных инициатив «Арт-Гелиос» и ГБУК г. Москвы «Московский музыкальный театр «Геликон-опера»), представила дерево результатов проекта, анализ ключевых стейкхолдеров и ключевой оценочный вопрос — «В какой степени (действительно ли?) молодёжная программ оперных артистов содействует повышению профессионализма молодых артистов?». На этот вопрос команда будет отвечать с помощью сравнения оценок экспертов и педагогов, работодателей и участников.
Проект «Форум «Яркие краски креативных индустрий» поддержан Президентским фондом культурных инициатив.
21 февраля Наталья Сергиевская представила результаты исследования, проведенного в рамках проекта «Форум «Яркие краски креативных индустрий» на конференции «Про развитие городов и сообществ». Организатор — фонд «Добрый город Петербург». Тема ее выступления: «Как оценить влияние культурных проектов?»
Наталья рассказала о проекте «Форум «Яркие краски креативных индустрий» — этапах реализации проекта, планах на 2024 год. Так, в 2023 году был проведен анализ международного и российского опыта оценки культурных проектов, в 2024 году проводится оценка пилотных проектов, будут подготовлены отчетные кейсы и презентации проектов. При разработке дизайна оценки учитываются области влияния, масштаб влияния, темпоральные рамки, используются логические модели проектов (ЛМП) (презентация).
Прошло почти полгода с начала работы ЯККИ, и достигнут очередной важный рубеж: 13 февраля состоялась установочная встреча организаторов форума и авторов творческих инициатив, пожелавших принять участие в проекте. Мероприятие проведено при поддержке и активной модерации Ольги Евдокимовой, главы основного партнера ЯККИ, АНО «Эволюция и Филантропия».
С июля, когда начались активная исследовательская работа и сбор данных, организаторам и партнерам проекта удалось сформировать первые библиотеки подходов, социокультурных результатов, кейсов, а также инструментарии, которые в перспективе станут основой для самооценки авторов творческих инициатив и их качественного стороннего анализа во всем многообразии культурного спектра.
Игорь Светославович Соболев, первый заместитель генерального директора ПФКИ, отметил, что хотя сегодня существует адекватная экспертиза и сложилась определенная оценочная система, она достаточно сложна и не всегда обладает достаточной гибкостью. Поэтому крайне важно создать доступный широкому кругу авторов проектов и благотворителей набор инструментов и подходов, которые помогут оперативно определить, в каком объеме поддержки нуждается та или иная творческая инициатива.
«Есть необходимость развития уже существующих подходов и поиска новых, большего упрощения процессов, с тем чтобы они стали применимы в широком спектре проектов и у широкого диапазона организаций, придумывающих и воплощающих такие инициативы в реальность после получения президентского гранта, — отметил Игорь Соболев. — Это острый вопрос: например, профинансированными нашим фондом проектами серьезно интересуется Экспертный совет при Правительстве РФ, где уверены в необходимости разработки системы определения результатов, которая бы могла быть распространена на всё проектное поле».
Спикер выделил три важных последовательных этапа развития проекта «ЯККИ»:
✓ начать подбор показателей, позволяющих оценивать результаты творческих проектов и подходов, методик, дающих возможность правильно их использовать;
✓ проанализировать российскую и международную практику оценки творческих проектов и сформировать наборы таких показателей;
✓ в дальнейшем найти определенные соотношения между результатами и стоимостью проектов, а также определить пул социокультурных технологий, позволяющих решить ту или иную проблему и добиться результата уже существующим набором инструментов и мероприятий.
Исходя из этих перспектив и проводился отбор в ЯККИ команд для участия в пилотном исследовании эффективности оценочных технологий творческих инициатив. Они обеспечили широкую представленность российского культурного поля, а также географическое разнообразие нашей страны.
ЯККИ и ПФКИ удалось собрать в 2021–2023 годах проекты, которые развивались в том числе в трех модельных регионах: Ростове, Екатеринбурге и Красноярске. В пул участников эксперимента вошло 7 таких проектов, отражающих разные аспекты социокультурного разнообразия России:
✓ Молодежная программа оперных артистов АНО «Центр поддержки творческих и социально-культурных инициатив “Арт-Гелиос”» и ГБУК г. Москвы «Московский музыкальный театр»;
✓ молодежный фестиваль «Стихия металла» (Свердловская область);
✓ онлайн-платформа проекта «Всероссийская актерская биржа»;
✓ Чеховский книжный фестиваль (Ростовская область, Таганрог);
✓ проект «Из России с любовью» (Ростовская область).
Ближайшие три месяца отобранные команды будут совместно с партнерами ЯККИ работать, пробуя и анализируя различные инструменты из уже наработанных в результате исследовательской работы библиотек-«артефактов». Это поможет им сформировать «дерево результатов», логическую модель проекта с аналитическими показателями, оценочный дизайн и корректное описание кейса.
На протяжении работы команды получат PR-поддержку, нарастят компетенции в области анализа и оценки творческих программ и получат навыки успешной презентации своих инициатив перед филантропами и фондами.
Результатом совместной работы станет форум, который пройдет в июне 2024 года, а его кульминацией будет гала-концерт участников.
Справка о проекте
Межрегиональный форум «Яркие краски креативных индустрий», победитель конкурса ПФКИ, — инновационная российская площадка, где в онлайн- и офлайн-режимах собирается и обсуждается передовой международный и российский опыт оценки социального воздействия творческих проектов.
Форум призван разработать рекомендации и подходы, с одной стороны, учитывающие специфику творческой сферы и компетенции её участников, с другой — принимающие во внимание ожидания финансирующих институтов. Полученные результаты будут способствовать развитию оценочного мышления у инициаторов проектов и предоставят им доступ к набору инструментов (например, к библиотеке результатов, показателей, кейсов) для оценки эффективности и повышения социокультурного потенциала. Над новыми подходами к оценке будут работать профессиональные эксперты, представители регионов, деятели культуры и креативных индустрий, а также участники успешно реализованных проектов, получивших поддержку ПФКИ.
13 февраля состоялась установочная встреча участников проекта «Форум «Яркие краски креативных индустрий» (ЯККИ). Во встрече приняли участие 22 специалиста из 9 организаций сферы культуры. Проект поддержан Президентским фондом культурных инициатив.
Цель проекта — создание креативных оценочных подходов для планирования и реализации творческих проектов.
АНО «Эволюция и Филантропия», ключевой контент-партнер проекта
ООО «Идеи&Решения», PR-поддержка
Задачи:
создать креативную площадку для обсуждения и визуального представления результатов
изучить существующий опыт оценки социокультурного влияния творческих проектов на общество
провести серию дискуссионных и методических мероприятий
оказать методическую поддержку отобранным пилотным проектам в части выбора подходов к их мониторингу и оценке
Ожидаемые качественные результаты:
повышение уровня мотивации, профессионализма и компетенций в области оценки результатов при реализации проектов
мотивация участников проектов создавать совместные творческие коллаборации
формирование и развитие сообщества заинтересованных людей, имеющих знания и компетенции в области оценки творческих инициатив
важность и необходимость мониторинга и оценки результатов реализации своих культурных проектов
В начале встречи Игорь Соболев, первый заместитель генерального директора ПФКИ, рассказал об ожиданиях фонда от реализации данного проекта, которые связаны с возможностью дальнейшего использования выработанных оценочных подходов для мониторинга и оценки творческих проектов. «Мы хотим посмотреть, какой есть опыт оценки творческих проектов, у которых безусловно есть своя специфика. Мы надеемся, что к концу реализации проекта мы сумеем нащупать набор показателей и результатов для оценки творческих проектов. Это в дальнейшем позволит авторам новых проектов, используя созданную библиотеку, самостоятельно закладывать критерии оценки на стадии разработки«, — сказал он.
Ольга Понкратова, руководитель социокультурных проектов театра «Геликон-опера», рассказала о том, что она видит важным направлением проекта — развитие навыков креативного представления и продвижения культурных инициатив.
Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», рассказала о промежуточных результатах проекта и планах его дальнейшей реализации. Проект начался в 2023 году с исследования международного и российского опыта оценки творческих проектов — результаты исследований были представлены на Форуме меценатов, был проведен воркшоп по теме оценки проектов в сфере культуры, на конференции АСОПП-2023 была проведена онлайн-сессии «Для чего и кому нужна оценка творческих проектов?».
На данном этапе работа с проектами-участниками будет организована с февраля по июнь 2024 года. АНО «Эволюция и Филантропия» предоставит методическую поддержку участникам проекта, которая будет заключаться, в частности:
в разработке оценочного дизайна и инструментария сбора данных ;
в поддержке процесса сбора данных;
в анализе данных и составлении отчетности.
Презентация результатов состоится в июне 2024. АНО «Эволюция и Филантропия» проведет методические вебинары и групповые встречи для участников, в опорных регионах пройдет серия дискуссионных мероприятий (презентация).
Сергей Пархоменко, ООО «Идеи&Решения» рассказал об основных инструментах продвижения проекта.
В завершающей части встречи прошло представление проектов-участников.
Молодежная программа оперных артистов АНО «Центр поддержки творческих и социально-культурных инициатив «Арт-Гелиос» и ГБУК г. Москвы «Московский музыкальный театр»». Илья Милованова рассказал о проекте, в котором ежегодно театр готовит 10 оперных артистов. Интерес участия связан с тем, что есть желание оценить влияние проекта на зрителей и более широко на сферу оперного искусства.
Молодежный фестиваль «Стихия металла» (Свердловская обл.). Кристина Костина рассказала, что фестиваль направлен на молодых людей, занятых на металлургических предприятиях региона. Цель фестиваля — способствовать творческой реализации работающей молодежи. Интерес к ЯККИ связан с планами масштабировать проект и выработать критерии его оценки.
Онлайн-платформа проекта «Всероссийская актёрская биржа». Проект представил Павел Скворцов. Проект решает задачу дефицита творческих кадров в регионах, он налаживает связи между специалистами творческих профессий и работодателями.
Мобильная опера-прогулка «Дмитрий Хворостовский. Начало». Агаханова Наталья рассказала, что проект знакомит с творчеством Дмитрия Хворостовского в инновационном формате городской прогулки с элементами дополненной реальности. Команда проекта хочет оценить свой продукт и найти новые идеи и способы для его продвижения.
Уральский паблик-арт фестиваль ЧО (Екатеринбург) посвящен проращиванию локальных историй в формате паблик-арта через общение с современными художниками и вовлечение публики в создание художественных произведений, самовыражение, общение с художниками.
Чеховский книжный фестиваль (Ростовская обл., Таганрог). Проект представила Людмила Скрынникова. Фестиваль работает с 2007 года. Его цель — популяризация Таганрога как места рождения Чехова и развитие событийного туризма. Участие позволит оценить накопленный опыт, а также прояснить сильные и слабые стороны проекта.
Проект «Из России с любовью» (Ростовская обл.). Владимир Денисов рассказал, что проект собирает истории иностранцев, которые приехали в Россию и остались здесь жить. Истории создаются в виде текстов и подкастов, в ближайших планах создание видеоисторий. В рамках ЯККИ с этим проектом будет работать команда «Идеи и решения».
18 октября 2023 на конференции АСОПП-2023 прошли 3 сессии по оценке социо-культурных проектов.
На первой сессии трека свой опыт оценки социокультурных программ представили два крупных благотворительных фонда. Николай Троцкий и Ирина Муштатова, Благотворительный фонд «Искусство, наука и спорт», рассказали об опыте оценки программы «Развитие регионов», включая использованные критерии и полученные результаты. Доклад Ирины Лапидус, Благотворительный фонд Владимира Потанина, был посвящен исследованию «Музейный проект – есть ли жизнь после?». В фокусе исследования были долгосрочные эффекты конкурсов «Меняющийся музей в меняющимся мире» и «Музейный гид» (видео).
На второй сессии был представлен опыт оценки театральных проектов и использования театральных технологий в оценке. Надежда Звездина, Благотворительный фонд «Дорога к дому», рассказала об оценке социокультурного проекта «Театральная тема», реализованного фондом в 2022-2023 годах. Марина Бородатая и Нина Ершова, Центр социально-психологической помощи, рассказали о применении технологии интерактивного театра для вовлечения подростков, оставшихся без попечения родителей, в исследованиях событий собственной жизни (видео).
А также в рамках сессии «Оценка в «больших» фондах» Николай Троцкий, Фонд «Искусство, наука и спорт» выступил с темой «Выстраивание системы оценки и управления воздействием в фонде «Искусство, наука и спорт»» (видео).
Презентация Кузьмина А.И., Балакирева В.П. Отраслевая специализация в сфере оценки. Культура. Материалы третьего Института оценки. 2023. ИнА-Центр. Проект «Формирование экосистемы обучения и просвещения в области оценки в социальной сфере» (оригинал материала опубликован по ссылке).
С 25 августа по 23 ноября 2023 г. прошел 7 поток онлайн-курса «Оценка программ в сфере детства». На курс было подано 64 заявки. 15 специалистов сферы детства из 11 организаций и 5 регионов РФ закончили курс. 6 специалистов закончили курс с отличием.
Курс проводился в экспериментальном режиме: участники осваивали курс самостоятельно, т.е. отсутствовали групповые обсуждения по каждому модулю, сдача домашних заданий была необязательна в течение курса, но была предусмотрена возможность консультации с преподавателем после выполнения заданий.
На основе анкеты финальной анонимной обратной связи был определен индекс лояльности — NPS, который составил 81,3%, что выше индекса прошлого потока (70,4%). На анкету ответили 16 участников курса. Индекс лояльности или NPS – это простой, общепризнанный стандартизированный инструмент сбора быстрой обратной связи о ценности своей деятельности.
Сравнение результатов входного и финального тестирования участников показало, что в среднем рост уровня знаний составил 30%, что выше показателя предыдущего потока (25%).
Отзывы участников:
Давно искала такой курс, который дал бы полноценное представление о различных подходах, об инструментарии и методах оценки программ в сфере детства. Информация по курсу оказалась очень полезна. Прояснила для себя множество моментов: – как планировать результаты и их показатели; – как использовать сервис PION для оптимизации процесса планирования; – как работать с теорией изменений для построения последовательности шагов и результатов по каждому шагу; – как влияет на эффективность работы организации разработка и внедрение системы мониторинга и оценки; – как корректно подбирать инструментарий оценки результатов с учетом конкретных обстоятельств, в которых реализуется проект; – и много, много другого. В помощь учащимся – разные формы подачи информации, многочисленные примеры, разъяснения от практиков и специалистов научного профиля, домашние задания. Все это помогает понять даже самый сложный материал по теме.
Очень структурированный глубокий курс со множеством полезных материалов. А главное, бесценных реальных кейсов оценки!!!! После курса остается четкое понимание, из каких блоков состоит оценка, с чего стоит начать изучения и внедрения этого процесса, как и с кем взаимодействовать при этом, укладываясь в имеющийся бюджет. Мне было сложно осваивать некоторый материал, возможно, местами из-за слишком академической подачи текста, но тем не менее несмотря на сложности я получила огромный новый багаж знаний. Благодарю за масштабную работу по созданию курса!
Курс краткий, хорошо структурированный, при этом отсылает к дополнительным материалам для более глубокого изучения той или иной темы. Курс практикоориентрован, очень много примеров из реальных кейсов реальных НКО.
Команда экспертов БФ «Культура благотворительности» разработала систему оценки воздействия для проектов в сфере культуры и массового спорта для фонда «Искусство, наука и спорт». Теперь у команды фонда есть инструмент, который помогает измерить эффективность и востребованность проектов в регионах.
О задачах оценки
Деятельность проектов фонда «Искусство, наука и спорт» разноплановая, проекты реализуются в разных регионах и по разным направлениям. Задачу фонд сформулировал так — создать систему оценки воздействия для каждого направления работы и для всех групп стейкхолдеров. «Необходима была система для регулярного отслеживания и анализа происходящих изменений в городах, — говорит Николай Троцкий, заместитель директора фонда. — В деятельности благотворительного фонда «Искусство, наука и спорт» оценка присутствовала всегда. Мы давно научились считать количество мероприятий, количество участников мероприятий, довольных и недовольных, а также приросты к количественным показателям, которые формировали пул KPI наших проектов. Однако для развития проектов, для их эволюции нам не хватало глубинного анализа результатов их реализации, а также понимания того, как проекты влияют на широкую карту наших стейкхолдеров и представителей ЦА, как они оценивают (если оценивают) влияние наших проектов и есть ли оно, это влияние.
Все чаще начал возникать вопрос, а как фонд может проанализировать то, что меняется в социально-культурной жизни городов благодаря работе фонда?
Количественные показатели не давали нам ответ на вопрос: “Какие изменения несут наши проекты в регионах, как воздействуют на целевые аудитории и стейкхолдеров”».
Кроме того, по словам Троцкого, фонду важно было, чтобы этой системой могли пользоваться участники проекта — руководители направлений, координаторы и участники на местах, грантополучатели фонда. «Именно вовлечение специалистов фонда стало изюминкой на торте — мы не хотели передавать процесс сбора данных и обработку подрядчикам. Наша задача — максимальное погружение в оценку и анализ ее результатов, — добавляет Троцкий. — В итоге все участники проектов были вовлечены в оценку. Такое погружение очень выгодно — ты здесь и сейчас получаешь обратную связь, развиваешь контакты со стейкхолдерами, а также на промежуточном этапе можешь сделать коррекцию реализации проекта. Это позволит регулярно получать и анализировать информацию о том, какие изменения происходят благодаря программе непосредственно у благополучателей и у всех стейкхолдеров. На основании анализа можно будет принимать решения о том, как усилить положительное воздействие и снизить отрицательное».
О проектах в области культуры, для которых нужна была система оценки
У фонда «Искусство, наука и спорт» несколько долгосрочных проектов в Белгородской и Курской областях по поддержке малых городов, все они входят в программу «Развитие регионов». В рамках программы проходят грантовые конкурсы, культурные и спортивные мероприятия, которые поддерживает или организует фонд. Цель проектов — развитие городской среды, поддержка социокультурных инициатив и развитие культурной жизни в регионах и территории в целом.
С 2019 года работает культурная платформа «АРТ-ОКНО». Ежегодно команда платформы реализует более 200 профессиональных и зрительских культурных мероприятий. Бюджет проекта «Культурная платформа «АРТ-ОКНО» в 2022 году, в рамках которого была реализована оценка, составил почти 64 млн рублей, в т. ч. на грантовую поддержку местных инициатив около 15 млн рублей.
Грантовый конкурс «АРТ-ОКНО» — это конкурс проектов, который дает возможность жителям и НКО воплотить значимые для города проекты в сфере культуры и искусства, размер грантового конкурса в 2022 году составил 9,6 млн рублей.
С 2015 года в регионах проходит стипендиальный конкурс «Класс от маэстро», его задача — поддержка талантливых детей и молодежи, проживающих в малых городах России, а также преподавателей, работающих в региональных музыкальных школах и школах искусств.
Всего в рамках программы в 2022 году прошло более 54 гастролей, а в 2023 году — более 80. По данным оценки, каждый 10-й житель города, где реализуется программа, так или иначе вовлечен в проекты фонды.
Подход к оценке
Работа была основана на принципах анализа социальных ценностей международной организации Social Value International. Этот подход активно используется для анализа воздействия в мире не только в благотворительных организациях, но и в бизнесе.
Суть подхода заключается в глубоком и широком понимании воздействия, которое происходит благодаря деятельности организации. Такой анализ учитывает положительные, отрицательные, запланированные и не запланированные результаты у широкого круга стейкхолдеров.
Эксперты по оценке изучают и анализируют изменения у людей, это касается тех изменений, которые действительно важны и заметны. Это дает возможность организациям не преувеличивать их вклад, так как многое может происходить само по себе или по другим причинам.
Принципы оценки воздействия
Вовлекать стейкхолдеров
Понимать, что меняется
Оценивать то, что важно
Анализировать только существенные изменения
Не переоценивать свой вклад
Действовать прозрачно
Подтвердить результат
Управлять воздействием
Методы работы
Основной акцент был сделан на результаты, связанные с изменением в жизни людей, в качестве их досуга, удовлетворенности, повышении мотивации, вовлеченности и другие аспекты. В оценке мы не считали количество мастер-классов и число участников фестиваля, а анализировали то, к чему приводят такие проекты.
Анализ проводился в трех основных для фонда городах — Железногорск, Старый Оскол, Губкин. Для определения полученных результатов и изменений с каждой группой в каждом регионе прошли интервью или фокус-группы в онлайн-формате. По каждому проекту удалось провести не менее 10 интервью или фокус-групп, важно было охватить все группы стейкхолдеров. Всего в опросах приняли участие около 70 участников проектов. Участникам задавали разные вопросы о воздействии проектов фонда непосредственно на них и на городскую среду — о том, как меняются возможности для досуга, образ жизни и удовлетворенность жителей, о личных изменениях, возможностях для саморазвития и образования и пр.
По каждому проекту были реализованы следующие этапы анализа:
Этап 1. Построение карт стейкхолдеров, продуктов и результатов по проектам.
Этап 2. Формирование показателей для измерения результатов
Этап 3. Разработка системы сбора данных по проектам, инструментарий.
Живое общение помогло выделить наиболее важные изменения, происходящие благодаря проекту. Далее были построены карты результатов, где были учтены как непосредственные результаты, так и существенные изменения или отложенные во времени результаты.
Так, в проекте «Класс от маэстро» были определены такие основные стейкхолдеры — учащиеся, родители, директора ДШИ и преподаватели. Важными результатами, например, для учащихся являются рост мотивации, новые возможности для профессионального развития. А для директоров школ и преподавателей — это возможности для обмена опытом, профессиональных связей и т. п.
В проекте «Культурная афиша» проходит множество мероприятий, событий: выставки, концерты, театральные гастроли, городские фестивали. Анализ такого комплексного и масштабного проекта был очень детальными. По каждому типу проектов были выделены свои стейкхолдеры. Например, для музейного проекта — посетители, сотрудники, директора. Выставочный проект помогает развиваться региональным музеям, а также оказывает влияние на сотрудников и руководство музеев.
Сотрудничество с ведущими российскими музеями влияет на профессиональный рост сотрудников региональных музеев. По мнению директоров музеев, благодаря проекту имидж музея повышается, так как ведущие музеи сотрудничают не со всеми, значит, музей демонстрирует определенный уровень. Директор регионального музея общается с директорами ведущих музеев, растут связи и уровень работы, растет профессиональное удовлетворение и мотивация.
«Нам доверяют ведущие музеи, это признание, повышение нашей значимости, востребованности и эффективности работы. Мы черпаем новые тренды, направления, подходы к работе, в том числе управленческие. Это огромный опыт для нас», — сказал директор одного из музеев-участника оценки.
Для фестивального проекта — участники, вовлеченные в профессиональную программу (студенты, молодые художники, инициативы, сообщества), организаторы и продюсеры, учреждения культуры и сами городские жители. Ежегодно фонд организует несколько городских фестивалей — фестиваль уличных театров «Иллюзион» (Железногорск«), Арт-фестиваль «Трансформация» (Железногорск), поэтический фестиваль «СПЛАВ» (Старый Оскол).
К участию в одном из фестивалей были приглашены студентки художественного колледжа. Опыт участия в фестивале и организации выставок с реальным представлением своего проекта, для большинства из них был первым. По мнению самих участников, это привело к профессиональному росту участников в дальнейшем. «Я делала инсталляцию — „Нити жизни“ и „Свет“. Это был первый такой опыт, опыт бесценный, так как многому научилась, кураторы вдохновляли и поддерживали. После этого я окончательно решила дальше поступать в Питер на искусствоведение», — рассказывает участница проекта.
Следуя такой логике анализа, получилось выявить, как общие для стейкхолдеров результаты, так и личные изменения. К общим можно отнести — повышение привлекательности городов для проведения досуга, привлечение туристов, удовлетворенность жителей качеством досуга для себя и детей, развитие творческих сообществ, новых инициатив, предпринимательства в сфере культуры и пр. К личным- повышение мотивации, личностный рост, реализацию творческих планов и карьеру и пр.
В результате по каждому проекту для каждого стейкхолдера были разработаны инструменты для сбора данных — вопросы для интервью и анкеты, а также схема сбора и анализа данных — графические схемы, наглядно демонстрирующие предполагаемые причинно-следственные связи разных видов деятельности по проектам с результатами и изменениями у стейкхолдеров.
Этот инструментарий позволяет сотрудникам фонда самостоятельно осуществлять оценку, адаптировать его под текущие задачи, следить за динамикой общих показателей и отслеживать ежегодные изменения по широкому спектру показателей.
Об использовании инструментов для оценки
«Получив разработку весной 2023 года, мы тут же пустили ее в работу, — говорит Николай Троцкий. — Все четыре проекта, для которых была разработана система оценки, приступили к ее апробации через реальную работу с аудиториями проекта. Одной из задач разработчиков была необходимость создать такую систему оценки и подобрать такие инструменты, чтобы все это можно было применять без привлечения дополнительных специалистов и ресурсов, силами руководителя проекта и его непосредственными участниками. Именно такой подход дал возможность нам сразу приступить к оценке».
На текущий момент в каждом проекте были проведены несколько оценочных срезов по различным инструментам и направлениям. По результатам оценки на основе первых данных уже внесли некоторые изменения в стратегию проектов. Так, по словам Троцкого, оценивая влияние грантового конкурса на целевую аудиторию и на региональных стейкхолдеров, в фонде пришли к выводу, что для более эффективной реализации социокультурных проектов необходимо дополнительное повышение экспертизы участников конкурса в нишевых направлениях. Как итог — появляются новые грантовые конкурсы, направленные на решение этой задачи.
Второй пример — регулярная коррекция концепции городских фестивалей, которая происходит по итогам оценки влияния фестиваля на горожан, которые приняли в нем участие.
Кроме того, в стратегии на 2024 год, которую фонд формирует в настоящее время, уже учитываются результаты оценки. «В стратегии на следующий год корректируются задачи, добавляются новые инструменты для реализации проектов, меняются горизонты воздействия проектов», — говорит Троцкий.
Оригинал статьи опубликован в «Журнале о благотворительности».
